Topology-Masked Unified Backbone for Joint Feature Interaction and Multi-Domain Sequence Modeling
拓扑掩码统一骨干：联合特征交互与多域序列建模
🧭 统一序列与特征交互的CVR排序 ★ 深度解读
Shandong University · Tsinghua University
用结构化TopoMask注意力在同一token空间内显式路由特征交互与多域序列信息流
📌 工作参考价值（4 点）
- 在统一token backbone中，不要默认全量self-attention；仿照TopoMask为不同token组（用户特征、商品特征、各行为域、memory token）预定义query-key连接矩阵，保留源内局部交互、阻断无关行为域直接attention，可降低噪声并提升CVR/CTR排序稳定性。
- 引入可学习全局/域级memory token作为信息汇聚节点，替代直接对长行为序列做sum/avg池化；后续只用memory token和query token做readout，能压缩长序列且保留多域摘要，容量敏感度低（32/8降到16/4影响很小）。
- 候选感知的DualQ值得复用：对用户侧和item侧token做双向cross-attention，再用独立attentive pooling生成几组query token，并用FiLM按行为域对query做条件调制；这比直接concat用户/item特征或单侧query更早注入target-dependent交互信号。
- Dense特征不要压成单个token：字段分组或语义分组分别投影再进交互层，能保留字段结构；腾讯实验里 dense collapse造成AUC大幅下降（val -0.0094）。另可借鉴ID频率分桶、EMA权重平均、SwiGLU序列编码等工程trick。